#cost efficiency

7 篇

You don't need long context

你不需要长上下文：频繁压缩支持短上下文智能体

🧭 Agent 长上下文压缩与语义状态 ★ 深度解读

NVIDIA

频繁上下文压缩与选择性读取，使长程/长输入任务无需长上下文，准确率基本持平且成本大降

📌 工作参考价值（4 点）

在电商推荐/搜索 Agent 的工作流中，将用户会话状态压缩为一段自然语言「semantic state」，每次调用大模型只携带任务描述 + 当前状态，不保留全量对话历史；线上可显著节省 KV cache 和 decode 成本，适合需要多轮筛选/比价的购物助手。
对长用户历史、商品详情、评论、规则文档等长输入，用工具化 selective reading：把长文档落在文件系统或检索索引，通过 grep/sed/head 或向量检索按需取证据，避免全量入上下文；可结合 RAG 实现“按需读”，比直接塞 100K 文档更可控。
采用 EoCC 式阈值压缩：设定上下文阈值（参考 12K–36K），触发时让模型只保留硬约束、用户偏好、未完成动作和已发现证据，重启新对话；压缩提示要约束长度并聚焦决策相关信息，防止信息丢失。
在评测 Agent 时增加效率指标：不只报准确率，同时统计 peak context length、total tokens、每任务成本；可以尝试 single-action compaction，把长程任务建模为状态转移，验证在业务场景是否同样成立。

Agent | 2026-11-03 | cs.AI | score 8/10

Adaptive Test-Time Inference for Text2Cypher with Trace Budgeting and Selective Refinement

Text2Cypher 的自适应测试时推理：跟踪预算与选择性精炼

🧭 LLM 测试时推理优化 · Text2Cypher

Neo4j, London, UK

提出自适应 trace 预算与选择性执行引导精炼，在 Text2Cypher 上降低 30.7% 生成预算、21-25% 推理时间且质量持平

📌 工作参考价值（4 点）

在电商/搜索的文本生成场景（query 改写、商品标题、广告文案、推荐理由）中，可先做难度/置信度评估，动态分配采样与精炼预算：简单请求少生成少校验，复杂请求多候选+执行级验证，降低 LLM 成本与延迟。
执行引导精炼可迁移到业务规则校验：对生成结果做 schema、库存、价格、广告法违禁词等可执行检查，仅在失败或低置信时触发强模型 refinement，而不是全量二次生成。
跨模型族精炼结果表明，可保留现有轻量/低延迟主模型，用另一个强模型作为统一精炼服务做兜底，兼顾效果与成本，便于在推荐链路中逐步引入 LLM 精炼。
动态 budget 分配思路类似推荐系统的粗排/精排分级算力：可按 query 复杂度或用户价值分层，对高价值/复杂流量给予更多推理资源。

LLM | 2026-09-02 | cs.IR | score 7/10

Text2Cypher test-time inference adaptive budget execution-guided refinement cost efficiency

The Embedder's Dilemma: LLMs Are Better, but at What Cost?

嵌入者的困境：LLM 更好，但成本多高？

🧭 文本嵌入与 LLM 成本效益对比

Harvard University · Stanford University · Independent Researcher

控制成本对比 10 个 LLM 与 26 个嵌入模型，发现 LLM 总体仅高 0.4 分，且仅在推理重型检索领先，成本最高贵 1431 倍

📌 工作参考价值（4 点）

在商品相似度、分类、聚类等经典任务上，专用 embedding 模型（甚至小模型）性价比极高，不要盲目用大 LLM 替换；LLM 仅在推理密集型检索（复杂 query 理解、多跳推理）才值得考虑。
若用 LLM 做检索，注意 reasoning tokens 占推理成本 28-81%，可通过限制 reasoning budget（如关闭 thinking 或降低 max tokens）在多数场景保持或提升检索质量，显著降低 API 成本。
构建 embedding 服务时，用类似 MTEB(LLM) 的基准做成本-质量 Pareto 前沿分析，结合自身业务指标选择前沿模型；同时关注本地 GPU 吞吐，open LLM 比同 GPU 上的 embedding 模型慢 2.5-736 倍。
电商/搜索场景可分层：embedding 模型负责粗排和相似度召回，LLM 仅用于长尾 query 改写、意图解析或复杂检索，避免全量 LLM 推理。

Eval | 2026-08-12 | HF Daily | score 7/10

text embeddings LLM cost efficiency retrieval benchmark Pareto frontier

BDH-CQ: In-Context Learning with Recurrent Latent Reasoning

BDH-CQ：基于循环潜在推理的上下文学习模型

🧭 潜在空间循环推理 · 低成本高效推理

Pathway · Bielik AI · New York University

BDH-CQ 以循环潜在推理避免逐 token 中间推理，150M 参数在 ARC-AGI-1 达 29.5% pass@2，成本 $0.0007/任务

📌 工作参考价值（3 点）

小型循环潜在推理模块可替代显式 CoT，用于商品属性抽取、query 意图分类等高频轻量任务，降低 tokens 费用与延迟，适合线上部署。
循环记忆持续更新机制可借鉴到实时用户行为序列建模，如点击流增量处理，避免每次重算完整序列，但需验证长程依赖捕捉能力。
评估模型时引入成本-精度帕累托分析，在 Agent 工作流中为简单任务配置低成本潜在推理模型，复杂决策再调用大模型，优化整体 ROI。

Reasoning | 2026-08-10 | stat.ML | score 7/10

latent reasoning in-context learning recurrent memory ARC-AGI-1 cost efficiency

CoBa: Cost-Effective Test-Time Scaling via Compute-Balanced Routing

CoBa：通过计算均衡路由实现具成本效益的测试时扩展

🧭 LLM 测试时计算优化

School of Mathematics and Statistics, Changsha University of Science and Technology, Changsha, China · School of Biomedical Engineering, Shanghai Jiao Tong University, Shanghai, China

提出计算均衡路由策略，动态分配生成与验证预算，以更少计算匹配多数投票准确率。

📌 工作参考价值（4 点）

多候选验证的预算分配：在生成式推荐或搜索中，当需要从多个候选 query/item 中投票选择时，可先使用廉价验证器（如轻量级打分模型）过滤大量候选，仅将高不确定性或高价值候选送入昂贵的大模型验证，大幅减少 LLM 调用成本。
Agent 循环中的动态路由：在涉及规划-执行-评估的 Agent 系统中，可借鉴 CoBa 的“生成 vs 验证 vs 停止”决策框架，由路由模块实时判断下一步应生成更多方案、调用评估器，还是直接输出结果，避免无效计算。
在线服务成本控制：对于对延迟敏感的电商实时推荐，可基于 CoBa 的停止规则设定置信度阈值，当廉价验证结果一致性高时提前终止，节省的 token 可分配给更复杂的用户意图理解场景。
粗-精验证管道设计：构建类似于 CoBa 的两级验证结构，第一级用规则或小模型快速打分，第二级用大模型深挖，这在商品标题改写、用户评论情感分析等场景中可直接复用，提升吞吐量。

LLM | 2026-08-07 | cs.AI | score 7/10

test-time scaling compute routing verification LLM reasoning cost efficiency

Pre-Inference Routing for Cost-Efficient Document Field Extraction

面向成本高效的文档字段提取的预推理路由

🧭 模型推理成本优化 · 预推理路由

Independent Researcher

提出预推理路由：在文档提取前预测难度，动态选择廉价或强模型，成本降低31-77%且质量损失≤0.02 F1

📌 工作参考价值（4 点）

模型级联成本优化通用范式：在推荐、问答或 Agent 流水线中，先用轻量模型处理简单流量（如高频、低风险 query），对复杂流量（长尾、歧义 query）再调用大模型。核心前提：廉价模型要「有足够失败率」且「失败可预测」——从日志统计廉价模型在各分段上的质量，若某段失败率低则没必要路由。
用极少标注试点验证路由可行性：不必全量标注或复杂实现，先用 100-200 条样本评估廉价模型在该业务的 F1 或准确率，看是否满足「足够失败」条件；再提取简单特征（如文本长度、信息熵、图像清晰度）用逻辑回归拟合，看路由后 Pareto 前沿是否改善——成本节约 30% 以上且质量损失可接受时才工程化。
路由器特征从业务可观测信号入手：论文发现 BOW 路由器和人工特征效果接近，说明业务侧不必过度设计特征，直接用文本/结构化元数据（如订单金额、商品数量、历史点击率）作为特征就能工作；可解释特征（如布局复杂度、缺失值比例）能帮助评估路由效果上限。
路由器需按场景独立训练：论文指出路由器不能跨数据集迁移，即业务上每个产品线（如搜索、推荐、客服）需维护自身路由策略，即使底层模型一致；可定期用新数据 retrain 路由器，避免分布漂移失效。

LLM | 2026-08-06 | cs.IR | score 6/10

pre-inference routing cost efficiency document extraction model cascade difficulty prediction

CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression

CAVEWOMAN：大模型在输入输出压缩下的行为研究

🧭 LLM 推理成本与语义保真度评估

Independent · Adobe Research

输入压缩反而增加成本并损害准确性，输出压缩能省钱但导致语义偏离基线

📌 工作参考价值（4 点）

在电商/搜索等依赖 LLM 生成文案、推荐理由等的场景中，不要通过压缩用户输入（如缩写查询词、省略语法）来节省成本，实验证明这会迫使模型输出更长回复，总成本反而上升，且准确性显著下降。
输出压缩（如限定模型简短回答）能有效降低 API 调用成本，尤其在使用开放权重模型时；但需注意，即使答案正确，其表面文本可能与无压缩基线产生语义偏离，因此需额外监控生成内容与原始风格的一致性。
实现时可将输出压缩作为成本控制手段，结合语义对齐度指标（如 entailment 检测）确保压缩后内容不违背原意，适合高频生成场景（如自动回复、消息推送）。
如果使用自建模型，可按 token 计费时优先压缩输出；若模型输出长度不可控，可设置最大 token 数来硬性限制，但需权衡准确性和语义偏移。

LLM | 2026-06-22 | HF Daily | score 7/10

input compression output compression cost efficiency accuracy semantic divergence evaluation protocol